Self-Balancing Gradient Allocation for Heterogeneity-Aware Feature Generation in Click-Through Rate Prediction
面向异质性特征生成的自平衡梯度分配，用于CTR预测
🧭 生成式推荐 · 异质性特征生成 · 难度感知 ★ 深度解读
Alibaba Group
提出统一可学习难度信号，同时驱动自平衡损失和难度引导注意力，解决生成式CTR中不同字段重建难度不均衡问题。
📌 工作参考价值（4 点）
- 自平衡损失加权：将每个特征字段视为独立任务，借鉴多任务同方差不确定性加权，损失设为 exp(-s)*loss + s/2，无需手工调权，自动将更多梯度分配给高基数ID、序列等难重建字段，冷启动受益明显。
- 难度引导注意力调制：在HSTU去噪网络中，用 exp(-s/2) 缩放查询向量，抑制收敛后字段的注意力，增强困难字段的信息聚合，与损失加权使用同一 s 信号，保持一致性。
- 统一难度信号：仅需学习每个字段一个标量 s_i，零额外超参数，与现有生成式预训练框架（如 DGenCTR）无缝集成，离线预训练开销极低。
- 冷启动与长尾增益：该方法对稀疏用户和长尾物品提升更大，生产环境中可针对这些分段部署，获得显著业务指标提升（在线 A/B 冷启动用户 CTR +9.2%）。